Chain-of-Experience for Continual LLM Improvement
经验链 CoE：LLM 推理期迭代自改进
🧭 LLM 推理期迭代学习 · 反馈驱动 test-time scaling ★ 深度解读
UC Santa Cruz · Bytedance Seed
系统证明让 LLM 在推理期用执行/自评/正确性反馈迭代累积经验，可稳定超越零样本与跨任务记忆基线，且成本更低
📌 工作参考价值（4 点）
- 在电商/广告的 LLM Agent 流程（query 生成、素材文案、商品属性清洗、选品分析）中，可把单次生成改为 2-10 轮 self-refine：每轮用轻量 evaluator/reward model 或规则信号（类目一致性、格式、点击/转化预估）给反馈，并将前几轮 response+feedback 原样拼入 context；20 轮内大部分收益就到手，API 成本可能反而下降。
- 不要急着把交互历史蒸馏成抽象 memory（类 DC/ACE 的跨任务 cheatsheet）或只保留最终答案；论文表明在同任务内 full experience trail 比压缩 memory 更优，激进压缩会丢中间 reasoning。线上 Agent 日志建议先存原始 trajectory，再按需做 retrieval/摘要。
- feedback 质量依赖 verifier 能力：模型自评不适合小/弱模型，业务上可先用强模型做 critic，或配合规则/执行结果（SQL 可运行、页面可解析、价格库存合法）；对噪声反馈用 selective majority voting 提高鲁棒性。
- 测试时改进能力与 base 性能正相关。线上预算有限时，优先给强模型加反馈回路，而不是无差别扩展；弱模型先提升 base 任务能力。